线性代数

Linear Algebra

线性代数研究有限维向量空间之间的线性映射。选定基以后，线性映射

由矩阵 $A\in {\mathbb{F}}^{m\times n}$ 表示，向量问题转化为矩阵方程。它的两条主线是

前者研究可解性、唯一性、秩、零空间、投影和最小二乘；后者研究方阵在特殊方向上的伸缩、模态、稳定性和谱分解。若 $A:{\mathbb{F}}^n\to {\mathbb{F}}^m$，则四个基本子空间是

复数域上把 $A^T$ 改为 $A^{\ast }$。它们满足

并由秩 $r$ 给出维数

因此，本页把线性代数组织成三层：先用消元和秩理解 $Ax=b$，再用正交投影和 SVD 理解任意矩阵，最后用特征值、谱定理和矩阵分解理解方阵与结构化算子。

一、Part one

矩阵乘以向量的三个理解层次：

• First level: Only numbers 只有数字的运算
• Second level: combination of column vectors 列向量的线性组合
• Third level: Subspace 子空间的运算

线性方程组
向量
矩阵
逆矩阵

矩阵的初等变换
矩阵的秩
线性方程组的解
行列式
克拉默法则
雅可比矩阵

向量空间 范数
线性变换 线性独立
正交性 标准正交基 子空间的正交性
向量投影

二、Part Two

特征值和特征向量
对称矩阵
矩阵对角化
二次型

微分方程组
凯莱-哈密顿定理
矩阵求导
奇异值分解

三、矩阵分解

Matrix Factorizations

• $L$ $C$ Lower triangular
• $D$ Diagonal
• $U$ $C^T$ Upper triangular
• $X$ Eigenvectors
• $\mathrm{\Lambda }$ Eigenvalues
• $B$ Generalized Eigenvectors
• $J$ Jordan
• $Q$ $V$ $U$ Orthogonal
• $\Sigma$ Singular Value

三、章节学习索引

1. Introduction to Vectors

• 1.1 Vectors and Linear Combinations：向量、列向量、行向量、零向量、线性组合、张成、张成空间、向量空间。这一节把向量看成可加、可数乘的对象，并用“所有线性组合”建立直线、平面、空间和退化情形。
• 1.2 Lengths and Dot Products：向量长度、单位向量、点积、内积、向量夹角、正交性、向量投影、三角不等式、柯西-施瓦茨不等式。这一节用点积定义长度、角度和正交，是后续投影、最小二乘和正交分解的度量基础。
• 1.3 Matrices：矩阵、矩阵乘法、矩阵形式、矩阵运算、线性方程组、行图像、列图像、差分矩阵、可逆矩阵、奇异矩阵。这一节把矩阵看成把输入系数送到列组合输出的动作，并从 $Ax$ 推进到 $Ax=b$ 的逆问题。

2. Solving Linear Equations

• 2.1 Vectors and Linear Equations：线性方程组、线性方程组的解、行图像、列图像、矩阵形式。这一节把 $Ax=b$ 同时解释为方程约束、列向量组合和矩阵输入输出问题。
• 2.2 The Idea of Elimination：高斯消元、主元、消元乘子、上三角矩阵、回代、行交换。这一节把求解过程变成逐步消去未知量，并暴露主元失败、行交换和回代的必要性。
• 2.3 Elimination Using Matrices：矩阵的初等变换、消元矩阵、增广矩阵、置换矩阵。这一节用矩阵乘法表示行操作，使消元从手算步骤变成可组合的矩阵动作。
• 2.4 Rules for Matrix Operations：矩阵乘法、矩阵运算、分块矩阵、矩阵转置、逆矩阵。这一节统一矩阵乘法的行列点积、列组合、行组合、外积和分块视角。
• 2.5 Inverse Matrices：逆矩阵、可逆矩阵、奇异矩阵、高斯-若尔当消元法。这一节说明何时 $A^{-1}$ 存在，如何用 $[A\mid I]$ 求逆，以及为什么求解时常避免显式求逆。
• 2.6 Elimination = Factorization: $A=LU$：LU分解、LDU分解、下三角矩阵、上三角矩阵。这一节把消元乘子和主元组织成三角因子，是重复求解、求逆和行列式计算的结构基础。
• 2.7 Transposes and Permutations：转置矩阵、对称矩阵、置换矩阵、行交换。这一节把行列互换、内积迁移、对称结构和置换行交换放入同一套矩阵语言。

3. Vector Spaces and Subspaces

• 3.1 Spaces of Vectors：向量空间、子空间、列空间、零空间、线性组合、矩阵空间、函数空间。这一节从 ${\mathbb{R}}^n$ 推进到抽象向量空间，说明“封闭于加法和数乘”才是空间结构的关键，并把 $Ax=b$ 的可解性解释为 $b\in C(A)$。
• 3.2 The Nullspace of $A$：零空间、齐次线性方程组、自由变量、主变量、特殊解、行最简阶梯形矩阵、秩。这一节把 $Ax=0$ 的全部解组织成零空间：消元保持 $N(A)$，每个自由变量产生一个特殊解，秩 $r$ 与自由变量数 $n-r$ 共同决定解空间维数。
• 3.3 The Complete Solution to $Ax=b$：线性方程组的解、特解、通解、一致性条件、满列秩、满行秩。这一节给出 $x=x_p+x_n$ 的结构：一个满足非齐次方程的特解，加上齐次零空间中的全部自由方向，并按秩区分唯一解、无解和无穷多解。
• 3.4 Independence, Basis and Dimension：线性独立、线性相关、张成空间、基、标准基、维数。这一节把“独立且张成”固定为基的定义，说明基给出唯一坐标表示，并证明维数是所有基的共同长度。
• 3.5 Dimensions of the Four Subspaces：四个基本子空间、行空间、列空间、零空间、左零空间、行秩、列秩、秩-零度定理、线性代数基本定理。这一节把矩阵的秩、零度和四个基本子空间统一起来：行空间与零空间位于 ${\mathbb{R}}^n$，列空间与左零空间位于 ${\mathbb{R}}^m$。

4. Orthogonality

• 4.1 Orthogonality of the Four Subspaces：正交性、正交补、子空间的正交性、四个基本子空间、线性代数基本定理。这一节把行空间与零空间、列空间与左零空间升级为正交补关系，并说明 $x=x_r+x_n$ 与 $b=b_c+b_{\ell }$ 的分解。
• 4.2 Projections：正交投影、向量投影、投影定理、投影矩阵、正交误差。这一节把无法精确命中的向量分解为子空间内最近点和正交误差，核心公式是 $P=A(A^{T}A{)}^{-1}{A}^T$。
• 4.3 Least Squares Approximations：最小二乘问题、最小二乘法、正规方程、残差、数据拟合。这一节处理 $Ax=b$ 无解时的最佳近似，核心条件是 $A^T(b-A\hat{x})=0$，即残差垂直于列空间。
• 4.4 Orthonormal Bases and Gram-Schmidt：标准正交基、正交基、正交矩阵、格拉姆-施密特正交化、修正Gram-Schmidt、QR分解、Gram矩阵。这一节用 $Q^{T}Q=I$ 消去耦合，把投影、最小二乘和 $A=QR$ 分解统一起来。

5. Determinants

• 5.1 The Properties of Determinants：行列式、行列式基本性质、行列式与消元、三角矩阵行列式、行列式乘法公式。这一节把行列式定义为判断可逆性、缩放体积和追踪行操作影响的标量。
• 5.2 Permutations and Cofactors：排列、余子式、代数余子式、行列式展开。这一节从排列公式和余子式展开解释行列式的完整代数结构。
• 5.3 Cramer's Rule, Inverses, and Volumes：克拉默法则、伴随矩阵、逆矩阵的余子式公式、行列式与体积、雅可比行列式。这一节把行列式用于显式求解、求逆和几何体积计算。

6. Eigenvalues and Eigenvectors

• 6.1 Introduction to Eigenvalues：特征值和特征向量、特征方程、特征多项式、迹、复特征值。这一节研究满足 $Ax=\lambda x$ 的不变方向，是矩阵幂、稳定性和对角化的入口。
• 6.2 Diagonalizing a Matrix：矩阵对角化、特征向量矩阵、矩阵的幂、相似矩阵、几何重数与代数重数。这一节说明当特征向量足够多时，矩阵可以被化成对角形式，复杂动力学随之分解为独立标量模式。
• 6.3 Systems of Differential Equations：微分方程组、矩阵指数、稳定性、特征值和特征向量。这一节用特征值解释线性动力系统的增长、衰减、振荡与稳态。
• 6.4 Symmetric Matrices：对称矩阵、谱定理、正交特征向量、正交对角化、主轴定理。这一节说明实对称矩阵具有正交特征向量和实特征值，是二次型与正定性的核心基础。
• 6.5 Positive Definite Matrices：正定矩阵、正半定矩阵、二次型、主元判别法、顺序主子式判别法。这一节用能量、特征值、主元和子式刻画正定性。

7. The Singular Value Decomposition

• 7.1 Image Processing by Linear Algebra：奇异值分解、图像压缩、低秩近似、矩阵的秩。这一节用图像压缩展示 SVD 如何用少量主方向保留主要信息。
• 7.2 Bases and Matrices in the SVD：奇异值分解、标准正交基、正交矩阵、奇异值。这一节解释 $A=U\mathrm{\Sigma }{V}^T$ 中输入基、输出基和伸缩系数的几何意义。
• 7.3 Principal Component Analysis：主成分分析、协方差矩阵、数据降维、低秩近似。这一节把 SVD 用于数据主方向提取，连接线性代数与统计学习。
• 7.4 The Geometry of the SVD：奇异值分解、矩阵范数、低秩近似、极分解、伪逆。这一节用单位球到椭球的变形解释 SVD 的几何本质。

8. Linear Transformations

• 8.1 The Idea of a Linear Transformation：线性变换、核空间、像空间、线性算子。这一节把矩阵提升为保持加法和数乘的映射。
• 8.2 The Matrix of a Linear Transformation：线性变换矩阵、基、坐标变换、矩阵表示。这一节说明同一个线性变换在选定基后如何写成矩阵。
• 8.3 The Search for a Good Basis：基变换、矩阵对角化、Jordan矩阵、傅里叶变换、函数空间。这一节强调好基能让矩阵接近对角、分块或稀疏，从而揭示问题结构。

9. Complex Vectors and Matrices

• 9.1 Complex Numbers：复数、复平面、复共轭、欧拉公式、单位根。这一节把实线性代数扩展到复数域，使旋转、振荡和复特征值可以统一表达。
• 9.2 Hermitian and Unitary Matrices：厄米矩阵、酉矩阵、复内积、共轭转置、谱定理。这一节给出复数域中的对称矩阵和正交矩阵对应物。
• 9.3 The Fast Fourier Transform：单位根、傅里叶矩阵、离散傅里叶变换、快速傅里叶变换、范德蒙德矩阵。这一节展示傅里叶矩阵的单位根结构如何递归分解，使 DFT 从平方复杂度降到近似 $n\log n$。

10. Applications

• 10.1 Graphs and Networks：图论、关联矩阵、图拉普拉斯算符、基尔霍夫电路定律、网络流。这一节用矩阵描述节点、边、流和守恒约束。
• 10.2 Matrices in Engineering：刚度矩阵、有限差分法、有限元法、边界条件、正定矩阵。这一节展示工程系统如何自然形成稀疏线性方程组。
• 10.3 Markov Matrices, Population, and Economics：马尔可夫链、概率向量、稳态分布、佩龙-弗罗贝尼乌斯定理、主特征向量。这一节用矩阵迭代描述概率、人口和经济状态的长期行为。
• 10.4 Linear Programming：线性规划、可行域、单纯形法、对偶问题、互补松弛。这一节把线性方程、不等式和最优化联系起来。
• 10.5 Fourier Series: Linear Algebra for Functions：傅里叶级数、Hilbert空间、内积、正交基、傅里叶系数。这一节把向量空间思想推广到函数。
• 10.6 Computer Graphics：计算机图形学、齐次坐标、仿射变换、旋转矩阵与叉乘 1、透视投影。这一节用矩阵表达平移、旋转、缩放和投影。
• 10.7 Linear Algebra for Cryptography：密码学、模运算、有限域、有限向量空间、希尔密码。这一节展示有限域和模算术中的线性代数应用。

11. Numerical Linear Algebra

• 11.1 Gaussian Elimination in Practice：高斯消元、部分主元法、舍入误差、稀疏矩阵、QR分解。这一节关注消元在计算机中的稳定性、复杂度和实现问题。
• 11.2 Norms and Condition Numbers：范数、条件数、矩阵范数、病态问题。这一节衡量输入误差如何被矩阵放大，是数值稳定性的核心语言。
• 11.3 Iterative Methods and Preconditioners：固定点迭代法、雅可比迭代法、高斯-赛德尔迭代法、共轭梯度法、谱半径。这一节处理大规模线性系统，强调近似迭代和预条件结构。

12. Linear Algebra in Probability and Statistics

• 12.1 Mean, Variance, and Probability：概率、随机变量、期望、方差、正态分布。这一节把平均、波动和概率分布写成向量语言。
• 12.2 Covariance Matrices and Joint Probabilities：协方差、协方差矩阵、联合概率、随机变量的独立性、半正定矩阵。这一节用矩阵记录多变量之间的共同变化。
• 12.3 Multivariate Gaussian and Weighted Least Squares：多维正态分布、加权最小二乘法、协方差矩阵、递归最小二乘法、卡尔曼滤波。这一节把统计估计、误差权重和线性代数中的正定矩阵连接起来。

索引

定位

面向复习和查找的符号/命令概念地图：从公式、空间符号、运算法则、概率统计记号和计算工具名直接进入已有概念页。重复出现的公式按主要用途归类；同一入口在不同上下文中保留到更具体概念的别名链接。

使用时可以先按问题类型定位：要求解方程先看分解与正规方程；要判断空间关系先看四个基本子空间；要写代码先看计算包、命令名和稀疏入口。这里的公式不只是记号表，而是到概念页的导航句柄。

矩阵分解公式

• LDU分解 | $A=LDU$：把消元中的下三角因子、主元对角因子和上三角因子分开，适合连接到下三角矩阵、上三角矩阵 和主元结构。
• LU分解 | $A=LU$：把高斯消元写成三角求解流程，是求解线性方程组 和理解高斯消元 的核心分解。
• 部分主元法 | $PA=LU$：把行交换写入置换矩阵 $P$，用于稳定消元和处理主元顺序。
• QR分解 | $A=QR$：把列空间基正交化，连接标准正交基、格拉姆-施密特正交化 和最小二乘计算。
• 极分解 | $A=QS$ / $KQ$：把矩阵分成正交变换与对称正定伸缩，适合从几何变形理解一般矩阵。
• 奇异值分解 | $A=U\mathrm{\Sigma }{V}^T$：用输入正交基、奇异值和输出正交基描述任意矩阵的伸缩结构，连接低秩近似、主成分分析 和图像压缩。
• 伪逆 | $A^{+}=V{\mathrm{\Sigma }}^{+}{U}^T$：把 SVD 中非零奇异值倒置，给出最小二乘和欠定系统中的广义逆。
• 秩一矩阵 | $A=u{v}^T$：外积形式的基本低秩块，是 SVD 展开和低秩近似的原子。
• 相似矩阵 | $A=BC{B}^{-1}$：表示同一线性变换在不同基下的矩阵形式。
• Jordan矩阵 | $A=BJ{B}^{-1}$：当特征向量不足时，用 Jordan 结构描述相似标准形。
• 矩阵对角化 | $A=X\mathrm{\Lambda }{X}^{-1}$：特征向量足够多时，把矩阵作用拆成独立标量模式。
• 矩阵的幂 | $A^k=X{\mathrm{\Lambda }}^k{X}^{-1}$：对角化后计算矩阵幂，把长期迭代行为归约到特征值幂。
• 相似矩阵 | $A=QT{Q}^{-1}$：用正交基把矩阵化成上三角相似形式，可作为 Schur 分解入口。
• 谱定理 | $S=Q\mathrm{\Lambda }{Q}^T$：对称矩阵的正交对角化，连接对称矩阵、正交对角化 和正定矩阵。
• Cholesky分解 | $S=LD{L}^T$：对称矩阵的三角分解形式，常用于正定系统、二次型和数值求解。
• Gram矩阵 | $S=A^{T}A$：列向量内积组成的对称半正定矩阵，是正规方程、SVD 和协方差结构的交汇点。

正交、投影与最小二乘核心符号

• 标准正交基 | $q_i^T{q}_j={\delta }_{ij}$：用 Kronecker delta 表示单位长度和两两正交，是 $Q^{T}Q=I$ 的逐项版本。
• 正交矩阵 | $Q^{T}Q=I$：$Q$ 的列向量标准正交；若 $Q$ 是方阵，还等价于 $Q^{-1}=Q^T$ 和 $Q{Q}^T=I$。
• 投影矩阵 | $Q{Q}^T$：当 $Q$ 是长矩阵且 $Q^{T}Q=I$ 时，$Q{Q}^T$ 是到 $C(Q)$ 的正交投影，而不是整个空间上的恒等矩阵。
• QR分解 | $R=Q^{T}A$：在 $A=QR$ 且 $Q^{T}Q=I$ 时，左乘 $Q^T$ 直接读出上三角因子。
• Gram矩阵 | $A^{T}A=R^{T}R$：QR 分解把 Gram 矩阵化为三角因子的乘积，解释最小二乘中为什么可以避免直接形成正规方程。
• 正交投影 | $A^T(b-A\hat{x})=0$：最小二乘残差与列空间正交，是正规方程的几何版本。
• 投影矩阵 | $P^2=P,P^T=P$：正交投影矩阵同时满足幂等和对称；只满足 $P^2=P$ 时未必是正交投影。

四个基本子空间符号

• 列空间 | $C(A)\subseteq {\mathbf{R}}^m$：矩阵列向量张成的输出空间，决定 $Ax=b$ 是否一致。
• 行空间 | $C(A^T)\subseteq {\mathbf{R}}^n$：矩阵行向量张成的输入方向空间，维数等于秩。
• 零空间 | $N(A)\subseteq {\mathbf{R}}^n$：齐次方程 $Ax=0$ 的全部解，给出自由变量方向。
• 左零空间 | $N(A^T)\subseteq {\mathbf{R}}^m$：列空间的正交补，刻画 $A^{T}y=0$ 的约束方向。
• 正交补 | $V^{\perp }$：与子空间 $V$ 中所有向量正交的方向集合。
• 线性代数基本定理 | $C(A^T)\perp N(A)$，$C(A)\perp N(A^T)$：四个基本子空间的正交补关系。
• 线性代数基本定理 | ${\mathbf{R}}^n=C(A^T)\oplus N(A)$：输入空间被行空间和零空间正交分解。
• 线性代数基本定理 | ${\mathbf{R}}^m=C(A)\oplus N(A^T)$：输出空间被列空间和左零空间正交分解。
• 矩阵的秩 | $r=\mathrm{rank}(A)$：四个子空间共享的核心维数，等于主元数、列空间维数和行空间维数。
• 秩-零度定理 | $\dim C(A)+\dim N(A)=n$：把列空间维数和零空间维数合并为未知量个数。
• 欧几里得空间 | ${\mathbf{R}}^n$：实向量空间的标准模型。
• 复数 | ${\mathbf{C}}^n$：复向量空间入口，后续连接复内积、厄米矩阵 和酉矩阵。
• 集合 | $\mathbf{S}\cup \mathbf{T}$：集合并，用于描述两个集合或子空间元素的合并。
• 子空间 | $\mathbf{S}+\mathbf{T}$：子空间和，表示来自两个子空间向量的所有加法组合。
• 子空间 | $\mathbf{S}\cap \mathbf{T}$：子空间交，表示同时属于两个子空间的向量集合。
• 集合 | $\mathbb{Z}$：整数集合，在模运算和有限域线性代数中常作为离散结构入口。

投影、正规方程与矩阵运算法则

• 投影矩阵 | $P=A(A^{T}A{)}^{-1}{A}^T$：把向量投到 $A$ 的列空间，连接正交投影 和最小二乘法。
• 正规方程 | $A^{T}A\hat{x}=A^{T}b$：最小二乘解的核心方程，等价于残差与列空间正交。
• 伪逆 | $x^{+}=A^{+}b$：用广义逆给出最小范数解或最小二乘解。
• Gram矩阵 | $A^{T}A$：把最小二乘、列相关性和半正定结构联系起来。
• 二次型 | $A^{T}CA$：把矩阵变换嵌入加权内积或能量表达式。
• 矩阵转置 | $(Ax{)}^{T}y=x^T(A^{T}y)$：转置把矩阵从一个内积槽移动到另一个内积槽。
• 矩阵转置 | $(AB{)}^T=B^T{A}^T$：乘积转置反转矩阵顺序。
• 逆矩阵 | $(AB{)}^{-1}=B^{-1}{A}^{-1}$：乘积求逆同样反转顺序。
• 矩阵乘法 | $(AB)C=A(BC)$：矩阵乘法满足结合律，使分块计算和复合线性变换一致。
• <mjx-container class="MathJax" jax="SVG" style="direction: ltr; position: relative;"><svg style="overflow: visible; min-height: 1px; min-width: 1px; vertical-align: -0.566ex;" xmlns="http://www.w3.org/2000/svg" width="4.491ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 1985 1000" aria-hidden="true"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math"><g data-mml-node="mo"><path data-c="5B" d="M118 -250V750H255V710H158V-210H255V-250H118Z" style="stroke-width: 3;"/></g><g data-mml-node="mi" transform="translate(278,0)"><path data-c="1D434" d="M208 74Q208 50 254 46Q272 46 272 35Q272 34 270 22Q267 8 264 4T251 0Q249 0 239 0T205 1T141 2Q70 2 50 0H42Q35 7 35 11Q37 38 48 46H62Q132 49 164 96Q170 102 345 401T523 704Q530 716 547 716H555H572Q578 707 578 706L606 383Q634 60 636 57Q641 46 701 46Q726 46 726 36Q726 34 723 22Q720 7 718 4T704 0Q701 0 690 0T651 1T578 2Q484 2 455 0H443Q437 6 437 9T439 27Q443 40 445 43L449 46H469Q523 49 533 63L521 213H283L249 155Q208 86 208 74ZM516 260Q516 271 504 416T490 562L463 519Q447 492 400 412L310 260L413 259Q516 259 516 260Z" style="stroke-width: 3;"/></g><g data-mml-node="mtext" transform="translate(1028,0)"><path data-c="A0" d="" style="stroke-width: 3;"/></g><g data-mml-node="mi" transform="translate(1278,0)"><path data-c="1D44F" d="M73 647Q73 657 77 670T89 683Q90 683 161 688T234 694Q246 694 246 685T212 542Q204 508 195 472T180 418L176 399Q176 396 182 402Q231 442 283 442Q345 442 383 396T422 280Q422 169 343 79T173 -11Q123 -11 82 27T40 150V159Q40 180 48 217T97 414Q147 611 147 623T109 637Q104 637 101 637H96Q86 637 83 637T76 640T73 647ZM336 325V331Q336 405 275 405Q258 405 240 397T207 376T181 352T163 330L157 322L136 236Q114 150 114 114Q114 66 138 42Q154 26 178 26Q211 26 245 58Q270 81 285 114T318 219Q336 291 336 325Z" style="stroke-width: 3;"/></g><g data-mml-node="mo" transform="translate(1707,0)"><path data-c="5D" d="M22 710V750H159V-250H22V-210H119V710H22Z" style="stroke-width: 3;"/></g></g></g></svg><mjx-assistive-mml unselectable="on" display="inline" style="top: 0px; left: 0px; clip: rect(1px, 1px, 1px, 1px); -webkit-touch-callout: none; -webkit-user-select: none; -khtml-user-select: none; -moz-user-select: none; -ms-user-select: none; user-select: none; position: absolute; padding: 1px 0px 0px 0px; border: 0px; display: block; width: auto; overflow: hidden;"><math xmlns="http://www.w3.org/1998/Math/MathML"><mo stretchy="false">[</mo><mi>A</mi><mtext> </mtext><mi>b</mi><mo stretchy="false">]</mo></math></mjx-assistive-mml></mjx-container>：把系数矩阵和右端向量合并，追踪线性方程组的可解性。
• <mjx-container class="MathJax" jax="SVG" style="direction: ltr; position: relative;"><svg style="overflow: visible; min-height: 1px; min-width: 1px; vertical-align: -0.566ex;" xmlns="http://www.w3.org/2000/svg" width="4.661ex" height="2.262ex" role="img" focusable="false" viewBox="0 -750 2060 1000" aria-hidden="true"><g stroke="currentColor" fill="currentColor" stroke-width="0" transform="scale(1,-1)"><g data-mml-node="math"><g data-mml-node="mo"><path data-c="5B" d="M118 -250V750H255V710H158V-210H255V-250H118Z" style="stroke-width: 3;"/></g><g data-mml-node="mi" transform="translate(278,0)"><path data-c="1D434" d="M208 74Q208 50 254 46Q272 46 272 35Q272 34 270 22Q267 8 264 4T251 0Q249 0 239 0T205 1T141 2Q70 2 50 0H42Q35 7 35 11Q37 38 48 46H62Q132 49 164 96Q170 102 345 401T523 704Q530 716 547 716H555H572Q578 707 578 706L606 383Q634 60 636 57Q641 46 701 46Q726 46 726 36Q726 34 723 22Q720 7 718 4T704 0Q701 0 690 0T651 1T578 2Q484 2 455 0H443Q437 6 437 9T439 27Q443 40 445 43L449 46H469Q523 49 533 63L521 213H283L249 155Q208 86 208 74ZM516 260Q516 271 504 416T490 562L463 519Q447 492 400 412L310 260L413 259Q516 259 516 260Z" style="stroke-width: 3;"/></g><g data-mml-node="mtext" transform="translate(1028,0)"><path data-c="A0" d="" style="stroke-width: 3;"/></g><g data-mml-node="mi" transform="translate(1278,0)"><path data-c="1D43C" d="M43 1Q26 1 26 10Q26 12 29 24Q34 43 39 45Q42 46 54 46H60Q120 46 136 53Q137 53 138 54Q143 56 149 77T198 273Q210 318 216 344Q286 624 286 626Q284 630 284 631Q274 637 213 637H193Q184 643 189 662Q193 677 195 680T209 683H213Q285 681 359 681Q481 681 487 683H497Q504 676 504 672T501 655T494 639Q491 637 471 637Q440 637 407 634Q393 631 388 623Q381 609 337 432Q326 385 315 341Q245 65 245 59Q245 52 255 50T307 46H339Q345 38 345 37T342 19Q338 6 332 0H316Q279 2 179 2Q143 2 113 2T65 2T43 1Z" style="stroke-width: 3;"/></g><g data-mml-node="mo" transform="translate(1782,0)"><path data-c="5D" d="M22 710V750H159V-250H22V-210H119V710H22Z" style="stroke-width: 3;"/></g></g></g></svg><mjx-assistive-mml unselectable="on" display="inline" style="top: 0px; left: 0px; clip: rect(1px, 1px, 1px, 1px); -webkit-touch-callout: none; -webkit-user-select: none; -khtml-user-select: none; -moz-user-select: none; -ms-user-select: none; user-select: none; position: absolute; padding: 1px 0px 0px 0px; border: 0px; display: block; width: auto; overflow: hidden;"><math xmlns="http://www.w3.org/1998/Math/MathML"><mo stretchy="false">[</mo><mi>A</mi><mtext> </mtext><mi>I</mi><mo stretchy="false">]</mo></math></mjx-assistive-mml></mjx-container>：把矩阵与单位矩阵合并，用行变换求逆或化简。
• 行最简阶梯形矩阵 | $R=\mathrm{rref}(A)$：消元后的规范形，用来读取主元、自由变量和零空间。
• Lp范数 | ${\ell }^1,{\ell }^{\mathrm{\infty }}$：向量大小的不同度量，分别强调绝对和与最大分量。
• 模运算 | mod $p$：把线性代数放入模 $p$ 算术，连接有限域 和密码学应用。
• NaN：数值计算中的非数值结果，常提示除零、无效运算或未定义表达式。

特征值与矩阵指数

• 特征值和特征向量 | $(A-\lambda I)x=0$：特征向量满足的齐次方程，表示 $A$ 在该方向上只做标量伸缩。
• 特征方程 | $det(A-\lambda I)=0$：特征值必须满足的行列式方程。
• 特征多项式 | $det(A-\lambda I)$：特征方程背后的多项式对象，编码特征值的代数重数。
• 矩阵对角化 | $A=X\mathrm{\Lambda }{X}^{-1}$：把矩阵作用换到特征向量坐标中。
• 矩阵的幂 | $A^k=X{\mathrm{\Lambda }}^k{X}^{-1}$：把离散时间迭代拆成各特征方向的增长、衰减或振荡。
• 矩阵指数 | $e^{At}$：连续时间线性系统的状态转移算子。
• 矩阵指数函数 | $e^{At}=X{e}^{\mathrm{\Lambda }t}{X}^{-1}$：对角化后逐个特征值指数化，用于求解线性微分方程组。
• 谱定理 | $S=Q\mathrm{\Lambda }{Q}^T$：对称矩阵的特征分解保证实特征值和正交特征向量。

概率统计符号

• 正态分布 | $\mathbf{N}(0,1)$：标准正态分布，是线性代数进入概率统计时最常见的标量分布入口。
• 期望 | $\mu$：随机变量或数据向量的中心位置。
• 方差 | ${\sigma }^2$：随机变量围绕均值的离散程度。
• 协方差矩阵 | $\mathrm{\Sigma }$：多变量随机向量的二阶相关结构，通常是对称半正定矩阵。
• 联合概率 | $P(A\cap B)$：多个事件同时发生的概率入口。
• 概率向量：非负且和为一的向量，常用于马尔可夫链 和稳态分布。
• 多维正态分布：用均值向量与协方差矩阵组织多变量高斯模型。
• 加权最小二乘：把误差权重或协方差结构并入正规方程。

向量、有限域与特殊矩阵

• 标准基 | $\mathbf{i},\mathbf{j},\mathbf{k}$：三维空间中的标准基向量。
• 叉积 | $u\times v$：三维向量产生垂直方向和有向面积的运算。
• 3 by 3 determinant：三阶行列式入口，连接体积、可逆性和叉积。
• -1,2,-1 矩阵：二阶差分或离散拉普拉斯的典型三对角结构。
• Vandermonde 结构：多项式插值和傅里叶矩阵的结构入口。
• 傅里叶矩阵：由单位根组织的复矩阵，连接快速傅里叶变换。
• 有限向量空间：模 $p$ 或有限域上的向量空间，用于编码和密码学。

计算包和代码名

基础库与计算后端

• BLAS：基础线性代数子程序，面向向量、矩阵-向量和矩阵-矩阵内核。
• LAPACK：建立在 BLAS 上的线性方程组、矩阵分解、特征值和 SVD 例程集合。
• ARPACK：大规模稀疏矩阵的少数特征值计算入口，核心思想是 Arnoldi/Lanczos 型 Krylov 子空间。
• CG：对称正定线性系统的 Krylov 迭代入口，常与预条件、共轭梯度法 和稀疏矩阵 连接。
• GMRES：一般非对称线性系统的最小残差 Krylov 入口，适合只提供矩阵-向量乘法的大问题。
• MINRES：对称但不一定正定线性系统的最小残差入口，要求保持对称结构。

语言与交互环境

• Fortran：传统高性能数值库的重要实现语言。
• Julia：面向科学计算的动态语言入口。
• Python：通用编程入口，实际数值线性代数常连接 Numpy 和 scipy。
• MATLAB：矩阵计算环境入口，许多线性代数命令以矩阵对象为中心。
• R：统计计算语言入口，适合连接概率统计和数据分析。
• Maple：符号计算系统入口。
• Mathematica：符号计算与数值计算系统入口。
• chebfun：把函数当作连续对象进行数值计算的工具入口。

分解与线性方程命令

• lu：LU 分解命令名，通常和主元置换一起出现。
• qr：QR 分解命令名，连接正交化、最小二乘和稳定基变换。
• chol：Cholesky 分解命令名，适用于对称正定矩阵。
• rref：行最简阶梯形矩阵命令名，用于读取主元、自由变量和零空间。
• solve / backslash：直接求解线性系统的命令入口，优先理解为“选择合适分解”，不是显式求逆。

谱、范数与稀疏命令

• svd：SVD 命令名，用于秩、低秩近似、伪逆和条件数。
• eig：稠密特征值和特征向量命令名。
• eigs：少数特征值命令入口，通常连接 ARPACK 或同类 Krylov 稀疏特征值算法。
• eigshow：特征向量几何效果的可视化命令名。
• norm：向量或矩阵范数命令名。
• cond：条件数命令入口，用于判断线性系统或最小二乘问题的敏感性。
• sparse：稀疏矩阵构造入口，决定后续存储、乘法、分解和迭代路线。
• amd：近似最小度排序命令名，用于稀疏矩阵重排序和减少填充。

构造、随机与绘图命令

• pascal：Pascal 矩阵生成命令名。
• toeplitz：Toeplitz 矩阵生成命令名。
• rand：随机数或随机矩阵生成命令名。
• plot2d：二维绘图命令名。

六个总入口

• Dimension Theorem：所有基的向量个数相同，维数是向量空间的内在量。
• Counting Theorem：列空间维数加零空间维数等于列数。
• Rank Theorem：列空间维数等于行空间维数，公共值称为秩。
• Fundamental Theorem：行空间与零空间、列空间与左零空间互为正交补。
• SVD：用行空间和列空间的标准正交基把任意矩阵分解为奇异值伸缩。
• Spectral Theorem：实对称矩阵可由正交特征向量对角化。

五、相关概念

图论
坐标变换

参考资料

《Introduction to Linear Algebra》第五版，清华大学出版社。